Pushing the Limits of LLM Tool Calling via Experiential Knowledge Integration and Activation
通过经验知识集成与激活突破LLM工具调用极限
🧭 LLM工具调用 · 经验知识获取与激活 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
系统研究经验知识在工具调用中的获取、激活与内化,提出KA TE框架,通过并行采样和知识增强训练大幅提升多步工具调用准确率。
📌 工作参考价值(4 点)
- 实例级轨迹知识更有效:直接使用高质量执行轨迹(Scenario Trajectory)作为few-shot示例注入prompt,比抽象意图描述能更可靠地提升工具调用准确率。电商Agent在调用库存、物流API时可复用历史成功轨迹。
- 推理宽度优于推理深度:用并行采样(如4路)配合自一致性聚合,成本可控地激活模型潜在知识,避免复杂prompt工程的边际收益递减。适合在agent决策步骤中增加少量并行调用。
- 用RL做知识内化:将检索到的经验知识显式拼入训练数据,用GRPO等RL方法微调,比SFT更能将知识固化为模型能力。电商推荐Agent可对高频场景构建经验库并RL微调。
- 简单检索够用:Top-K相似度检索+阈值过滤已能取得明显收益,不必在检索机制上过度设计,工程实现简单,适合快速落地。